PolyU COMP5511
Основы искусственного интеллекта
Моделирование последовательностей и трансформер
Цели обучения
- Сравнение архитектур: Различать архитектуры рекуррентных нейронных сетей (RNN), LSTMs и трансформеров.
- Механизм самовнимания: Объяснить статью «Внимание — это всё, что вам нужно» и механизмы самовнимания.
- Кодировщики и декодировщики: Понять роль кодировщиков и декодировщиков в моделях, таких как BERT и GPT.